[XM-TEST] Add test for new network functions

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

[XM-TEST] Move network_utils.py to lib directory

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

Add network-del and network-show commands to xm

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

Add network.destroy() to XenAPI

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

domain builder: Fix sanity check for gzip size.
Signed-off-by: Keir Fraser <keir@xensource.com>

acm: Remove unecessary compat shim from do_acm_op().
Signed-off-by: Keir Fraser <keir@xensource.com>

acm: Fix 32-bit build with acm enabled.
Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

blktap: Segments can span multiple clusters with tap:qcow.

In blktap's qcow we need split up read/write requests if the requests
span multiple clusters. However, with our MAX_AIO_REQUESTS define we
assume that there is only ever a single aio request per tapdisk
request and under heavy i/o we can run out of room causing us to
cancel requests.

Dynamically allocate (based on cluster_bits) the various io request
queues the driver maintains.

Signed-off-by: Mark McLoughlin <markmc@redhat.com>

hvm ioemu: Fix SCSI initialisation after c/s 14942.
Signed-off-by: Keir Fraser <keir@xensource.com>

xen x86/64 compat: Fix size of accesses to trap_bounce.cs in asm.
Signed-off-by: Keir Fraser <keir@xensource.com>

Remove non-ASCII chars in man page.
Signed-off-by: Charles Coffing <ccoffing@novell.com>

xend: Tidy bootloader device constant.

In XendDomainInfo, BOOTLOADER_LOOPBACK_DEVICE is defined to be
'/dev/xvdp'.  However, there is still one place in this file that has
'/dev/xvdp' hard-coded.

Signed-off-by: Charles Coffing <ccoffing@novell.com>

hvm vmx: Mark bootstrap-initialised variables as read-mostly.
Signed-off-by: Keir Fraser <keir@xensource.com>

hvm vmx: Another small fix for CPUs with no TPR_SHADOW support.
Signed-off-by: Keir Fraser <keir@xensource.com>

xen: Fix maximum_gpfn() hypercall to always return max_gpfn not nr_gpfns.
Fix callers to convert this to nr_gpfns (aka p2m_size) if that's what
they actually need.
Signed-off-by: Keir Fraser <keir@xensource.com>

hvm vmx: Only use TPR_SHADOW feature if supported.
Signed-off-by: Keir Fraser <keir@xensource.com>

hvm ioemu: Do not initialise the LSI SCSI interface if no SCSI discs
are attached to the guest.
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEND] No need to refresh bridges under new model...

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

[XEND] Fully implement XenAPI network and PIF classes.

Now support creation of Networks and PIFs.  Auto discover current network settings.

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

[XEND] Remove autoplug class signatures, have it all handled in the class now

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

[XEND] Make existing autoplug classes implement new XendBase

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

[XM] Fix network-attach when a bridge is specified, add network-new command to create new XenAPI network

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

[XEND] Add more exceptions and error messages

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

Use new instance store to resolve network uuid to bridge name

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

Change how XendStateStore store XML for persistance.

Make it explicity store empty dicts and list.

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

Add new base class and instance store for new autoplugged api classes

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

If bridge name hasn't been recorded in XendConfig then try and work it out using Brctl.

This is needed when a VIF is created without specifying a bridge.

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

Translate network uuid to bridge name and store it in XendConfig when createing a new vif.

Fixes a bug where a new vif gets added to the wrong bridge.

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

xen: Fix up use of trap_bounce structure.
Fixes suggested by Jan Beulich.
Signed-off-by: Keir Fraser <keir@xensource.com>

hvm save/restore: Use a GUEST_HANDLE_64 rather than an ordinary GUEST_HANDLE
when getting the HVM context so as 32 bit dom0s on a 64 bit hypervisor
do the right thing.

Signed-off-by: Steven Smith <sos22@cam.ac.uk>

libxc: Fix xc_translate_foreign_address() to parse non-pae pagetables
correctly.
From: Chris Morrow <cmorrow@yottayotta.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

linux x86/64: Fix supervisor_mode_kernel test to read a single byte.
Spotted by Jan Beulich.
Signed-off-by: Keir Fraser <keir@xensource.com>

xend: Fix race in vfb/vkbd device setup.

 1. XendDomainInfo._createDevices() gets a list of devices to be
    created from XendConfig.ordered_device_refs().
    On a simple guest, this has 4 devices, vfb, vbd, vif, vkbd - in
    that order.

 2. It iterates over those devices, creating the appropriate
    DevController subclass instance, and then calling createDevice()
    on that object.

 3. When createDevice() is called on the vfb  device, it spawns
    xen-vncfb daemon.

 4. During startup xen-vncfb writes into the backend paths
            /local/domain/0/backend/vfb/0
     And
            /local/domain/0/backend/vkbd/0

 5. When createDevice() is called on the vkbd device in XenD, if the
    2nd xenstore path write from step 4 has occurred, then you'll hit
    the 'Device 0 (vkbd) is already connected' error. If the 2nd path
    write didn't complete yet then everything is fine.

I think the reason it often works once after boot is that loading
xen-vncfb from disk the first time around is just enough of a slow
down to ensure step 5 occurs before the 2nd xenstore write in step 4
has occurred.

The key seems to be to ensure the vkbd device is initialized in
xenstore before the vfb device - this ensures all the xenstored setup
from XenD is complete before the xen-vncfb daemon starts. I'm now able
to create & destroy a domain many times over with this patch & never
hit the error message any more.

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

acm: Updating a policy on a running system.

Allow a policy to be updated on a running system and domains to be
relabeled. The updating of a policy is happening in several steps:
relabeling the domains, testing whether the system would be in a valid
state after the relabeling (according to the policy), committing the
changes if state is determined to be valid.

I have followed Keir's suggestion of building a 2nd linked list
parallel to the domain list. That 2nd list holds security information
related to the running domains. Each entry is pointed to by its domain
structure. The list is protected by its own read/write-lock. I have
moved nearly all ACM-related code that was traversing the domain list
previously to traverse this list instead and not hold onto the domain
list lock.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

acm: Changes to XML schema of the policy

This patch changes the XML schema of the ACM policy to require a
version and that every conflict set have a name. Every VM label must
have one Chinese Wall Type and every resource label one Simple Type
Enforcement Type. As a consequence of this some example policies
needed to be changed. Also not offering that many configuration
options for compiling xen anymore to make things simpler.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

xend: Settle on 0666 pre-umask permissions for xend-debug.log.
Signed-off-by: Keir Fraser <keir@xensource.com>

xend: Suppress logging of "Listing domains in state foo" in xend.log.
Signed-off-by: Jim Fehlig <jfehlig@novell.com>

LINUX: Fixes for XENFEAT_supervisor_mode_kernel and XENFEAT_writable_page_tables.

Signed-of-by: Ian Campbell <ian.campbell@xensource.com>

hvm: Choose correct shared_info format for 32-bit PV drivers on 64-bit Xen.
Signed-off-by: K. Y. Srinivasan <ksrinivasan@novell.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

acm: Changes to files missed in previous cleanup patch.
Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

Remove execute permission from xend-debug.log

The file /var/log/xen/xend-debug.log is currently being created with
executable permission bits set. This is because the os.open() method
defaults to using a mode of 0777 if no third parameter is provided.
The attached patch changes the mode to 0600 to ensure that the file
permissions come out as -rw-------  instead of -rwxr-xr-x

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

acm: Move acm_domain_destroy() hook to complete_domain_destroy().
Signed-off-by: Keir Fraser <keir@xensource.com>

xen ia64: Fix build breakage after ACM cleanup.
Signed-off-by: Alex Williamson <alex.williamson@hp.com>

Merge with xen-ia64-unstable.hg

[qemu-dm] Check for null pointer in dma handler function pointer.

Signed-off-by: Christian Limpach <Christian.Limpach@xensource.com>

[qemu-dm] Add bounds checks to block device reads/writes.

Signed-off-by: Christian Limpach <Christian.Limpach@xensource.com>

[qemu-dm] Add bounds checks for cirrus bitblit memory accesses.

Signed-off-by: Christian Limpach <Christian.Limpach@xensource.com>

acm: Code restructuring on domain create/destroy.

When a domain is created, the function acm_domain_create() in
domain_create() is called that does what previously the pre- and
post_domain_create functions were doing. Similarly there's a function
acm_domain_destroy() in domain_kill() that reverts changes to state
when destroying a domain. There's no more separate initialization
necessary for domain-0, but domain_create takes one more parameter,
the ssidref. It is usually passed through the hypercall when a domain
is created.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

hvm: Fix ioreq structure size to be 32/64-bit invariant.
This fixes booting HVM guests with 32-bit dom0 on 64-bit Xen.
Signed-off-by: Keir Fraser <keir@xensource.com>

merge with xen-unstable.hg

[IA64] Fix ptc.g race

If one vcpu is executing ptc.g, while the other vcpu is executing itc,
the VHPT(VTLB) entry which should be purged may unexpectedly survive.
Then issue happens.

Signed-off-by: Anthony Xu <anthony.xu@intel.com>

xm-test: Scale memory parameter for tests using XenAPIDomain.

Scale the memory parameter for domains using the XenAPIDomain to
create a domain. Those domains use the normal configuration where the
memory parameter is given in 'Mb', so it needs to be adapted to
'bytes'.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[HVM][HAP] Don't kill domains if dom0 requests an invalid shadow op.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

hvm rombios: No need for SS prefix when EA base is %bp.
Signed-off-by: Keir Fraser <keir@xensource.com>

hvm rombios: Do not screw around with the PIT in the BIOS 32-bit
extensions. mdelay() can more easily be implemented by polling the
DRAM refresh bit in port 0x61. And this does not mess with state that
a guest may be relying on.
Signed-off-by: Keir Fraser <keir@xensource.com>

hvm rombios: Fix int15, func 0x86 (udelay).
Was reading argument from wrong stack location with recent versions of
bcc. Doing the access from [bp] rather than [sp] is safer as the
former does not change all the time.
Signed-off-by: Keir Fraser <keir@xensource.com>

qemu: Do not kill ioemu if undefined LSI-SCI registers are read. Just
return zeroes. This path is triggered by ASPI8DOS.SYS in DRDOS.
Signed-off-by: Keir Fraser <keir@xensource.com>

[XEN] Truncate arithmetic for PERFSTATUS counters to the width of perfc_t.
Since these are all calculated per-cpu now, a status counter that is
incremented on one cpu and decremented on another will underflow on
the decrement.  When we add the per-cpu values to get the total, if
we don't truncate the sum it will be max-perfc + 1 instead of zero.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

hvmloader: Fix e820_collapse() to not lose E820 entries.
Fixes bugzilla bug #971.
Signed-off-by: Keir Fraser <keir@xensource.com>

vtpm: Decrease amount of pages on shared ring.

Decrease the amount of shared pages on the ring to only one page -
more is not needed.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

Don't bypass the spin_unlock at the end of do_domctl().
Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

kexec: Avoid unaligned writes when producing crash info.

The alignment of info is 32bits in line with the elf specification.
This means that on 64 bit architectures accessing it directly may
result unaligned access and a panic. I have been experiencing
this on IA64.

It seems that a simple approach of having an crash_xen_info_t on
the stack and simply memcopying it into info at the end alleviates
the problem.

Signed-off-by: Simon Horman <horms@verge.net.au>

xend: Incluide processing of 'monitor' config option in qemu-dm
cmdline processing.
Signed-off-by: Yongkang You <yongkang.you@intel.com>

[TAPDISK] Move tapdisk control files from /dev/xen to /var/run/tap
Signed-off-by: Jake Wires <jwires@xensource.com>

[TAPDISK] Use incremental cookies and fix blktapctrl::test_path parameter typo.
Signed-off-by: Jake Wires <jwires@xensource.com>

netback: Copy skbuffs that are presented to the start_xmit() function
with a multi-page head buffer. The new skbuff will not have a
multi-page head buffer, which is a necessary restriction until this is
supported by the internals of the netback driver.
Signed-off-by: Steven Smith <ssmith@xensource.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

API version to 0.9.1.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Ignore the libxenapi tarball temp directory.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added Makefile.dist, which can make standalone tarballs.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Move all internal header files to a separate directory, so that it's clear what
forms the public API.  Tidy up a couple of macros in xen_internal.h.  Remove
test_hvm_bindings, which no longer builds, and which has had its functionality
subsumed into test_bindings.  Bump the library version to 0.9.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

xenstored: Only dom0 can do XS_DEBUG in non-test environments.
Signed-off-by: Keir Fraser <keir@xensource.com>

Deprecate XendDomainInfo.state - now use _stateGet() to get the live
state of a domain.  Should still call _stateSet() to notify others
when you expect the state has changed.

Also some changes to locking in save/suspend, restore/resume and migrate

Passes xm-test against XenAPI...

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

Revert 14883:6568c1882af5 and 14862:98efd2e410ae.

This reverts the preparation for removing the sparse tree, since these
modified scripts are not yet ready:
 1. XENGUEST suffix was lost yet depended on still by sparse tree
 Makefiles (hacked around by 14883; also reverted).
 2. XEN_TARGET_X86_PAE default value seems to be ignored
 (out-of-the-box 'make dist' will build non-PAE kernels).

Signed-off-by: Keir Fraser <keir@xensource.com>

[XEND] Fix test for when to record HVM VNC console as a VFB.
This code may still need more work to properly integrate HVM SDL consoles.
Signed-off-by: Tim Deegan <Tim.Deegan@xensource.com>

Fix dist target to keep previous symlink format.
May be a cleaner fix which I'll let IanC do.

Signed-off-by: Steven Hand <steven@xensource.com>

Update README for correctness.
Signed-off-by: Keir Fraser <keir@xensource.com>

hvmloader: Fix ROMBIOS highmem relocation. Only SHF_ALLOC sections
should be relocated. SHT_NOBITS must be handled properly (space
explicitly allocated and zeroed).
Signed-off-by: Keir Fraser <keir@xensource.com>

Add "chk build" check that we've got xgettext since it's now required.
Signed-off-by: Mats Petersson <mats.petersson@amd.com>

[vtpm] Return a proper error when in the Xen-API call.
Fix a bug in the test.

Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

[security] When building the binary policy align its contents the same way as the
ACM module does when returning its contents.
Signed-off-by: Stefan Berger <stefanb@us.ibm.com>

hvmloader: Simplify e820_malloc() interface and improve
implementation. Strip unnecessary sections from the highmem bios
extension elf image.
Signed-off-by: Keir Fraser <keir@xensource.com>

hvmloader: Tiny comment clarification.

Fix for bug introduced by cset 14859:a9aa7c29eda8 - implement IOREQ_TYPE_SUB
for intercepted mmio access too.

Signed-off-by: Steven Hand <steven@xensource.com>

Allow use of foo.local buildconfig overrides.
From: Jeremy Fitzhardinge <jeremy@goop.org>
Signed-off-by: Keir Fraser <keir@xensource.com>

netfront: use skb.cb for storing private data

Netfront's use of nh.raw and h.raw for storing page+offset is a bit
hinky, and it breaks with upcoming network stack updates which reduce
these fields to sub-pointer sizes.  Fortunately, skb offers the "cb"
field specifically for stashing this kind of info, so use it.

Signed-off-by: Jeremy Fitzhardinge <jeremy@xensource.com>
Cc: Herbert Xu <herbert@gondor.apana.org.au>
Cc: Chris Wright <chrisw@sous-sol.org>
Cc: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

tools: Use INSTALL_{DIR,DATA} to install stuff.
Signed-off-by: Keir Fraser <keir@xensource.com>

Fix tools build

Signed-off-by: James Bulpin <james@xensource.com>

Added xen_session_clear_error.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Add *.get_all_records to XenAPI, make use of this for xm list

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

Added event dispatch when a VM's power state changes.  Fix the host.enabled and
host.software_version definitions.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Add pot file, fix build

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

Added documentation and C bindings for VM.migrate call.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Added host.enabled flag.

Signed-off-by: Ewan Mellor <ewan@xensource.com>

Install dtd into correct place

signed-off-by: Tom Wilkie <tom.wilkie@gmail.com>

Fix up locale strings for xm

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

hvm: Fix get_immediate() in mmio decoder by reverting Dexuan Cui's
change that breaks the case mod==0, rm==4, sib&7==5. That is,
disp32(scaled-index).
Also simplify get_immediate with sign extension.
Signed-off-by: Keir Fraser <keir@xensource.com>

Factor out sparse tree makefile fragments and introduce an alternative hg-clone
method in preparation for migrating away from the sparse tree layout.

Signed-off-by: Ian Campbell <ian.campbell@xensource.com>

hvm: Allow HVM guests to use sched_op() hcall on x86/64 Xen.
Signed-off-by: Keir Fraser <keir@xensource.com>

xen x86: Fix PV guest destruction.
Signed-off-by: Dexuan Cui <dexuan.cui@intel.com>

hvm: Fix a bug in the mmio emulation of SUB instruction.
Signed-off-by: Dexuan Cui <dexuan.cui@intel.com>